The OWE Artificial Neural Network and its Parallel Implementation

RÉSUMÉ. Les perceptrons multi-couches (ou perceptrons) sont largement utilisés pour l’approximation de fonctions, mais sont très demandeursen temps de calcul. Malheureusement, l’implantation parallèle des perceptrons est un problème complexe ; dans cet article, nous proposons une nouvelle méthode efficace pour leur parallélisation. Nous présentons l’architecture OWE (Orthogonal Weight Estimator), dont les performances sont au moins aussi bonnes que celles d’un perceptron classique avec le même nombre de paramètres libres. L’architecture OWE consiste en un perceptron principal dans lequel chacun des poids est calculé par un perceptron indépendant (un OWE). Le nombre d’OWEs est égal au nombre de poids dans le perceptron principal. Les calculs dans chaque OWE peuvent être menés de façon indépendante, ce qui permet une parallélisation aisée des phases d’apprentissage et de relaxation. Nous décrivons notre implantation de cette architecture sur une machine Intel Paragon, et nous la comparons avec son implantation sur une machine séquentielle. ABSTRACT. Multi-layer perceptrons (MLPs) are a useful and widely used tool for function approximation, but they are very demanding on computer time, hence the need for parallelization. Unfortunately, the parallel implementation of MLPs is not straightforward. In this paper, we propose a new efficient way to parallelize MLPs. We present the OWE (Orthogonal Weight Estimator) architecture, which performs at least as well as a classical MLP with the same number of free parameters. The OWE architecture consists of a main MLP in which the value of each weight is computed by another MLP (an OWE). The number of OWEs is equal to the number of weights of the main MLP. The computation in each OWE can be done independently, therefore the training and relaxation phases can easily be parallelized. We report our implementation of this architecture on an Intel Paragon parallel computer and the comparison with its implementation on a sequential computer. MOTS-CLÉS : Réseaux de neurones, perceptrons, implantation parallèle, performance.